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fe4) RECONNAISSANCE AUTOMAT1QUE DES TRAITS CARACTERISHQUES DU VISAGE ET SIMULATION D'UNE 
^ IMAGE ESTHETIQUE D'UN OBJECTIF (VISAGE) REEL. 

(^) Proc^6 et disposltif mettant en oeuvre un syst^me in- 
formattque permettant de simuler une image esthetlque a 
partir d'un visage r^el. 

Le systeme infomnatique procede d'abord a la saisle de 
la photognaphie en couleurs sous fom)e numdrique du vi- 
sage etudle, puis II determine dans Timage obtenue les 
traits caractdristiques fins et les modifle en fonctlon de cri- 
teres de decision etablies dans la base de regies d'un sys- 
teme expert. 

Applications en technique en maquillage, en chirurgie 
plastique, en technique de remise en fonme, en demnatoTo- 
gie, en coiffure et en techniques caplllaires, en lunetterie, 
en s^uritd, en photognaphie num^nque, en traltement de 
photographle, en morphospychologie. 
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RECONNAISSANCE AUTOIVIATIQUE DES TRAITS CARACTERISTIQ UES D U 
VISAGE ET SIMULATION D*UNE IMAGE ESTHETIQUE D'UN OBJECTIF 

(VISAGE) REEL 



La presente invention conceme un systeme informatique permettant de amuler 
automatiquement une image esthetique d*un objectif (visage) reel par la reconnaissance des 
traits caracteristiques du visage. 

On sait qu'il existe dans la cosmetique, un certain nombre d'equipements de dessin et de 
coloriage manuels. Ces equiperaents permettent de modifier Timage initiaie dW visage et 
d'en deduire par voie manuelle une image parfaitement esthetique. Mais ce procede est 
toujours lent et parfois aleatoire. 

La presente invention conceme done un procede ct un dispositif permettant de realiser 
automatiquement par voie informatique, la simulation esthetique dVm objectif initial, un 
vis^e par exemple. 

Le systeme informatique mis en oeuvre est installe dans une cabine ou une console, n 
comporte essentiellement un ordinateur possedant un disque dur de 420 Mo, un lecteur de 
CD ROM, un appareil photographique numerique et un systeme expert, mum d'une base de 
donnees et anime par un moteur d'inference, c'est a dire par un puissant svsteme deductif 
independant de la base de donnees. Ce systeme expert utilise est de la classe zero phis (CH-). 

La presente invention conceme done un procede et un dispositif permettant de simuler par 
un processus automatique une image ideale, a partir de Timage reelle dHm objectify un visage 
par exemple, caracterisee en ce que llmage reeDe capturee par un appardl photographique 
numerique en couleurs est segmentee, puis en ce que Ton d^ermine les traits 
caracteristiques fins de cette image par une reconnaissance de formes, de textures et de 
contour et enfin ce que Ton modifie certains de ces traits en fonction de criteres de decision 
d\m systeme expert dote d\me base de connaissance enrichie de plusieurs miBiers de 
combinaisons et dliarmonies. 

La capture de Timage en couleurs est obtenue en quelques secondes au moyen d'un appareil 
photographique numerique du type ION ou d'une camera video avec sa carte d*acqiiisition 
numerique, sous un eclairage approprie issu de spots lumineux. C'est a partir de cette image, 
segmentee au prealable, que le procede et le dispositif selon I'invention vont permettre de 
simuler I'image esthetique ideale. 
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Le procede comprend essentiellement trois phases : 

• Une phase d*acquisition : on procede a I'analyse et a la reconnaissance des fonnes ct des 
contours d'une image photographique numerisee en mettant en oeuvre des techniques 
caracterisees par le recours d'une logique deductive. 

• Une phase de transformation conduisant a la modification des traits caracteristiques fins 
de rimage initiale en fonction des criteres de decision et^lis dans une base de regies du 
sysieme expert interface avec les outils de segmentation et de reconnaissance des 
formes. 

• Une phase de restitution oflfrant sur un grand ecran et (ou) sur du papier de format M 
la siinulation eslhetique recherchee. 

Au cours de la premiere phase, le logide! du traitement de I'inu^e va coordonncr phisieurs 
operations successives : 

Dans un premier temps, il procede a la detection et a la reconnaissance des contours. A 
cette fin, on considere les histogrammes des 256 niveaux de couleurs ou des 256 niveaux de 
gris equivalent correspondant a chaque segment elementaire de Ilmage. En suhrant deux 
directions privilegiees (verticale et horizontale par exemple) d determine les points ou les 
histogrammes subissent une discontinuite ou bien passent par des minima ou des maxinia de 
maniere a optimiser la methode on dcterminera les derivees de la variance, la moyenne et Ic 
coefficient de variation des niveaux de gris de chaque ligne d'image. On arrive ainsi a 
preciser les formes de llmage. Ainsi par ©cemple, avec un visage ces operateuis pOTiettent 
de definir non seulement sa forme mais egalemem la forme des traits caracteiisdques du 
visage (yeux, nez, cils, paupieres, ponmiettes, bouches...) On utilise a cette fin des 
automates suiveurs de contour. 

On peut ainsi isoler focilement les objets par rapport au fond. On delimite aina les r^ons 
d'interet de I'image. Dans le cas present cette binahsation peat etre operee de fi^on 
automatique par la recherche des minima des histogrammes des niveaux de gris suivant des 
directions privilegiees. 

• La reconnaissance et Tanalyse des textures cutanees suit dans un deuxieme temps la 
reconnaissance des formes. 

On j>rocede notamment a revaluation du degre d'entropie de la texture de la peau qui tient 
compte de I'importance de I'organisation ou du desordre de ce tissu aina que de I'cxistence 
ou de i'absence de motifs spatialement repetiti&. 

On relcve egalement la presence de dislocations cutanees correspondant a des cicatrioes, a 
des traces de couperose, susceptibles d'apparaitre sur Timage. 

• Cette premiere phase comporte enfin une determination des effets structuraux au cours 
de laquelle on evalue d*une maniere plus generaie le degre dliomcomorphiane des 
tissus, le degre de symetrie de I'image et plus particuiierement le d^rc de qonetiie 
orthogonale lorsque Fobjet examine est un visage (chilarite). 

I>aiis tous ces traitements la qualite de Timage peut etre amelioree par I'eiimination ou par 
Tattenuation des bruits. 
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Les bruits correspondent a des fluctuations aleaioires et a des infonnations parasites 
provoquees notaniment par Feciairage. 

Ces baiits se presentent sous forme de pixels isoles des pixels du voisinage. De phis, ccs 
pixels isoles ne sont pas spatialement correles. 

On obtient relimination de ces bruits : 

• d'une part, par Terosion" qui permet d'eliminer des points exierieurs aux fonnes 
(exemple, relimination de points sur fond blanc). 

• d'autre part, par la -dilatation" qui permet d'eliminer les "trous" apparaissant dans les 
formes. 

Ces transformations peuvent etre contextueiles, c'est-a-dire que les parametres des 
operateurs sont susceptibles de varier en fonction dVxn environnement ou d'une position par 
rapport au cadre de Timage ou par rapport a des formes caracteristiques prealablement 
detectees. 

On anenue Timportance de ces bruits en appliquant des filtres sur Timage. 
U y a lieu de classer les filtres en deux categories. 

1 . Les filtres operateurs d'integration susceptibles d*attenuer les bruits. 

2, Les filtres operateurs de di£ferenciation susceptibles, au contraire, de renforcer le 
contraste. 

Suivant le cas, ces filtres sont appliques localement ou globalement sur llmage et ils doivent 
eventuellemem tenir compte du contexte local de Timage en prenant en compte ses 
proprietes statisdques. 

Suivant le cas, ces filtres sont destines a des operations effectuees en binaire en inveaux de 
gris, soit au contraire a operer en 256 couloirs. Dans tous les cas Tapplication de ces fibres 
demande une gestion efiScace des "caches" intermediaires. 

Au cours de la phase de transformation de Timage originale, le procede determine a qud 
sexe appartient le visage (masculin ou feminin), si il est de type en&nt, adolescent, aduhe, 
ou vieiUard, ensuite apporte des ameliorations de caractere esthetique en fonction de son 
programme de soins. Certaines particularites du visage initial sont ameliorees. 
Ainsi, par exemple, les petites rides, les cemes, les "pattes d'oies", les taches de rousseur, 
I'acne et la couperose sont fortement estompees. D*une fa9on plus generate, les traits 
caracteristiques du visage sont modifies en fonction de decisions de la base du systeme 
expert. 

Au cours de cette phase de transformation, le logidel analyse les couleurs dominantes qui 
apparaissent dans les diflFereittes regions du visage (couleur des levres, des yeux, teint 
dominant de la peau par exemple etc.) et apporte, si cela s'avere necessaire des 
ameliorations de caractere cosmetique. Dans le cas ou des donnees necessaires aux 
inferences du systeme expert peuvent etre incomplete ou incertaines, IHitilisation de la 
logique floue permet de ponderer les premisses des re^es et les regies eOes-memes de 
maniere a pouvoir mferer meme en presence de donnees incompletes ou iuiprecises. Des 
choix cosmedques pourront etre ainsi efifectuees meme si on ne dispose pas avec precision 
de toutes les donnees necessaires. 
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Au cours de la phase de decision, c'est cette image esthedque et maquillee qui va ctrc 
presentee comme la simulation de I'image ideale. 

La phase de restitution se traduit d'abord par TaflSchage, en 256 couleurs , sur ecran couleur 
haute definition de Fimage progressivement transformee, ensuhe par I'impression d"une 
photographie en 256 niveaux de gris grace a une imprimante a jet tfencre ou laser, dans un 
format A4, et par I'edition de la feuille d'information: "soins et beaute ou passeport beaule". 
Dans Tapplication du precede au visage, chaque partie du visage qui a subi des soms est 
directement renseignee par un commentaire scientifique et esthetique avec la description du 
produit a utiliser. Enfin, I'impression d'une seconde photographie en 256 couleurs de format 
A4 est editee quelques minutes plus tard, grace a une imprimante a sublimation thermique, 
jet d'encre ou laser, incorporee dans I'instailation, revelant ainsi son nouveau visage simule 
au sujet examine. 

L'unage simulee et les informations corrcspondantes sont enregistrees au moyen d\m lecteur 
enregistreur de carte optique numerique fkisant partie de rinstalladon. La feuille de soins et 
la photographie definitive en couleurs sont editees devaot la ou le client. 

Toujours dans I'application du procede au visage humain, le systeme expert est en mesure 
de simuler a la demande, des styles de maquiUage adaptes aux circonstances. 

On peut ainsi realiser le maquillage le mieux adapte a une fete, une soiree, soit au travail ou 
meme au sejour au bord de mer etc. 

Le systeme expert est en mesure de simuler a la demande, et de verifier les eflfets d^m 
programme de soins de peau. 

Le procede mis en oeuvre dans la presente invention sera mieux compris en se rq>ortant a la 
description d'un exemple simplifie concernant un visage de fenmie decrit en reference a 4 
figures dans lesquelles, 

la figure 1 represente Tim^e d'un visage de femme a modifier. 

La figure 2 represente une photographie du meme visage sous forme informatique en 256 
niveaux de gris ou 256 couleurs. 

la figure 3 fiut apparaitre en gris fonce, les portions de Timage soumises a un premier 
traitement. 

La figure 4 represente le visage modifie par le procede de la presente invention, depose 
sous le nom MAGIC LUMIERE. 

La figure 1 est I'image du visage de femme a modifier. Pour pouvoir procedor au traitemem 
informatique de Timage, on substitue a cette image, une autre image obtemie au moyen 
d*un appareil photographique numerique en 256 couleurs. 

La figure 2 represente I'image de ce visage de femme ainsi obtenu sous forme infimnatique, 
forme de segments elemcntaires, caracterise chacun par un histogramme predsaot pour cc 
segment elementaire le niveau de chacune des 256 couleurs. 

n est alors possible de proceder a Tanalyse et a la reconnaissance des formes de ce visage. 
On cfaoiat alors deux directions privilegiees telles que les droites (V) et (H) d la figure (3). 
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En suivant ces directions privilegiees, on determine les points tels que (V; HI) ou les 
histogrammes subissent une discontinuite correspondant a la limite de la chevelure sombre 
du visage etudie. On revelera egalement tous les points tel que (VI; H2) ou (VI; H5) ou les 
histogrammes passent par des mimma. 

En deplapant les lignes V et H le long de Timage du visage, on definit des lignes continues 
representant la forme des differents elements du visage. 

On est alors en mesure de proceder a la reconnaissance et a I'analyse des textures cutanees 
en examinant par exemple les histogranmies des points releves suivant les directions telles 
que H2, H3,.. .H7. 

Ayant determine les formes et la nature des textiu-es cutanees de cette image, on est en 
mesure de passer a la phase de transformation. Le logiciel va alors analyser les couleurs 
dominantes qui ont ete mises en evidence sur certaines parties du visage. Dans ce cas 
present, le logiciel analyse la couleur des yeux, des cils, des paupieres, des sourdls, puis la 
coloration des levres. Ces extraits sont alors modifies en fonction des decisions du systemc 
expert. 

La fisaire 3 illustre ces operations. Ayant defini les elements a modifier (paupieres, cils, 
sourcils), on procede a Textraction des contours de ces elements. De sorte que ceux-ci 
apparaissent en gris fonce ou blanc sur I'image. On met done en memoire tous les pixels de 
ces zones pour modifier leur couleur et realiser le maquillage recherche. 

La figure 4 correspond a la phase de restitution au corns de laquelle les traits 
caracteristiques fins de I'image initiale ont ete transformes pour donner une image 
esthetique et maquillee. 

Ainsi, on note que les elements extraits de Tixnage (figureS) ont ete remplaces par des 
elements nouveaux : les paupieres et la base des sourcils ont ete roidus plus clair et 
soulignes de bleu; les cils ont ete maquilles. 

L'operation de restitution s'est poursuivie en modifiant le rouge des levres et leur contour. 
C'est cette image qui revele son nouveau visage sinmle a la cliente. 

On peut evidemment appliquer ce procede et ce dispositif a la simulation d'une image 
esthetique d'un visage, a partir d'une simple photographie noir et blanc ou couleurs, 
permettant d'efiectuer, a partir de la numerisation de cette photographie par un scanner de 
haute definition, des portraits photographiques d'un sujet en amelioram I'esthetique de ce 
visage par des techniques capillaires et de maquillage, Testompage ou la rectification de 
certains de&uts anatomiques, le changement de la couleur cutanee (brcmzage), dans ce cas 
la base de donnees correspondant a la simulation esthetique du visage est completee par une 
collection de regtes d'«thetique concemant le maquillage, la coifiRjre, les techniques 
capillaire, la texture de la peau, et/ou la chinirgie plastique permettant ainsi de traiter 
simultanement le visage et la partie csqnilaire d'un sujet pour editer et restituer une nouvelle 
image valorisante et ideale. 
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Les applications 

On con<?oit facilement que ce systeme peut recevoir de tres nombreuses applications en 
enrichissant la base de donnees utilisee par le systeme expert en mettant en oeuvre des 
donnees specifiques de T application coacemee : 

£n lunetterie 

Le dispositif selon Tinvention permet, a I'opticien lunetier, d'aider a faire le chobc dVine 
meilleure esthetique en facilitant la superposition de diflFerentes montures de lunettes ou de 
differentes lentilles de coulcurs sur un visage. 

Cette application pouvant etre mise en oeuvre directement avec le systeme conforaae a 
r invention, Tappiication a la technique de la lunetterie ou des instruments d'optiques peut 
etre directement inctuse dans le traiteraent du visage. 

La base de donnees correspondant a la sinmlation esthetique du visage est completee par 
une collection de regies d'esthetique concemant les montures de lunettes et les instruments 
d'optiques (lentilles de couleurs etc.) permettant ainsi de traiter simuhanement le visage et 
de superposer difierentes montures de lunettes de maniere adequate ou dififerentes lenoDes 
de couleurs sur ce visage. 

En securite 

Le systeme sdon Tinvention permettant de reconnaitre a coup sur le visage d*une personne 
connue, peut etre utilise pour commander un systeme d'ouverture. La base de donnea est 
enrichie dinformations correspondants a tous les traits caracteristiques dW ou phisieurs 
visages conmies permettant de reconnaitre a coup sur le visage dWe posonne dite 
autorisee. 

Le systeme selon Tinvention permet egalement de reconnaitre un visage partieUemrat 
masque ou totalement masque par un tissu et de le comparer a une base de donnees de traits 
caracteristiques d*un visage, et ceci quelque soit son orientation. Un systeme de 
reconstruction 3D a partir damages 2D dont Forientation est inconnue pennectant^ la 
reconstruction du fades et sa representation face et profil pour comparaison avec un fichier. 
La base de donnees est enrichie d'mformations correspondants a tous les traits 
caracteristiques de visages permettant de reconstruire un facies de face et de profil. A cette 
base de donnee est associee une autre base de donnee contenant des visages de perscMmes 
qui permettront leur comparaison avec le facies reconstruit de face et de profil. 

£n Photogniphie namerique 

Le systeme selon Tinvention permet lors d\ine photographie eflFectuee en cabine de 
photographic numerique d'ameliorer Testhetique et valoriscr 1* image d"un sujet. La base de 
donnees correspondant a la ^ulation esthetique du visage est completee par une collection 
de regies d'esthetique concemant le maquiUage, la coiflSire, les techniques capillaires et la 
texture de la peau permettant ainsi de traiter simultanement ie visage, la partie capiHaire d'lm 
sujet pour edher des photographies vaiorisantes pour le cliesA. 

En traitement de photogniphie 

Le systeme scion IWention permet a partir dHme photographie du visage &im sujet, fourni 
sur support photographique classique en noir et blanc ou en couleurs, apres avoir ete 
scannerise par un apparefl de numerisation, d'etre retouche et amSbiore esthetiquement. La 
base de donnees correspondant a la simulation esthetique du visage est completee par use 
collection de regies d'esthetique concemant le maquillage, la cotflKire, les techniques 
capillaires et la texture de la peau (>ermettant ainsi de traiter simuhanement le viss^e, la 
partie capillaire d'un sujet pour editer des portraits valorisants. 
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En technique de remise en f rme 

On peut ainsi visualiser a partir de I'image de ranatomie existante du corps a trahcr, les 
modifications a y apporter (elimination du tissus adipeux abdominal, musculation de la parot 
abdominal, etc.) de sorte que la base de donnees du systeme expert est enrichie de regies 
concemant Fensemble des techniques de la culture physique, les regimes alimentaires et les 
di£ferentes methodes de musculation. 

En dennatologie 

L'emploi d'un systeme expet du traitement de Tirnage cutanee en couleur permet un 
nouveau dcvdoppement en quantifiant et qualifiant I'etat de la peau grace aux analyseurs de 
texture et de la distribution des couleurs. 

En particulier, le sjrsteme d'acquisition et de traitement d'images associe a un systeme 
expert permet de realiser un modde d'aide au diagnostic et de suggerer la nature du 
traitement a effectuer (pommade ect ) 

En outre, le dispositif permet au dermatologur d'apprecier plus facilement revolution de 
TafiTection et de constater sans difficulte les changements de coloration des taches cutanees 
susceptibles de se canceriser, les naevi, les cicatrices en evolution, les escarres, les troubles 
vasomoteurs, les affections des muqueuses etc. 

La base de donnees du systeme expert est enrichie d'informations correspondants a un 
ensemble d'affectations, accompagnees d'exemples des traitements permettant de suggerer 
la nature du traitement a efifectuer. 

En chirurgie plastique 

On peut ainsi visualiser a partir de Tanatomie existante du corps ou du visage a traiter, les 

mcxlifications a y apporter teUes qu'un liitiiig, une rectification du nez une transfomiation du 

maxillaire, une rectification du bee de lievre, ia disparition de la culotte de cheval etc. 

La base de donnees du systeme expert est enrichie de regies concemant I'anatomie. 

Le logiciel simule alors les modifications a apporter, ainsi que I'aspect fiitur du visage ou de 

la partie du corps traitee. 

Apres cicatrisation, cette demiere image doit etre comparee au resuhat obtenu afin de voir 
s'U y a encdte Ueu de proceder a quelques rectifications complementaires. 

En coifTare et en teciiniqucs capiUaires 

Le dispositif selon Tinvention permet d'aider a faire le chobc d^une meilleure esthetique en 
facilitant la superposition de differents types de coifiiires et de difSsrentes coloration de 
cheveux sur un visage. La technique capillaire peut etre directement inchise dans le 
traitement du visage. 

La base de donnees du systeme expcn correspondant a la simulation esthetique du visa^ 
est completee par une collection de regies d'esthetique concemant la coifiure et la couloir 
des cheveux permettant ainsi de traiter simuhanement le visage et la partie capillaire d\m 
sujet. 

En morphopsychoiogie 

Le dispoatif sdon Tinvention permet d'observer et de « lire » avec mimide un visage, les 
rides et les ridules, Tequilibre entre la partie superieure et inferieure, la taille et la forme du 
nez, du lobe des oreilles et des commissures des levres, etc., ainsi fl est possible de decder 
et de determiner la personnalite d'autrui. 

Cette application pouvant etre mis en oeuvre directement avec le systeme seion TinvcntiiML 
La base de donnees du systeme expert est enrichie d'un ensemble de tedmiques 
correspondants a Tobservation des visages complete par celles des psycfaologues. des 
psychiatres et des anatomistes dans ce domaine. 
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REVENDiCATlONS 



1. Precede de simulation de I'image esthetique ideale a partir de Timage photographique 
numerique en couleurs d'un visage reel, caracterisc en ce qu'apres une segmentation de 
rimage, on precede au cours d'une premiere phase d'acquisition a la determination des 
traits caracteristiques fins du visage et de sa structure cutanee puis au cours d'une phase 
de transformation, on precede d'une part a Pamdioration esthetique des traits 
caracteristiques de I'image initiale et d'autre part a la modification de certaines des 
couleurs de la structure cutanee, en fonction des criteres de selection, determines par un 
systeme expert de ciasse zero + anime par un moteur d'inference en s'appuyant sur une 
base de donnees enrichie de plusieurs milliers de combinaisons de formes et d'harmonics 
de couleurs. 

2. Precede suivant la revendication (l), caracterise en ce qu'apres avoir determine les 
hisiegrammes des niveaux de couleurs des segments du visage, on precede suivant le 
programme du systeme expert a une reconnaissance des structures du visage en 
recherchant suivant deux directions privilegiecs les lieux de discontinuite <tes 
histegrammes des niveaux de couleur. 



3. Precede selen les revendications (I) et (2), caracterise en ce que la reconnaissance des 
contours et de Timage est obtenue par Tanalyse des couleurs ou des niveaux de gris 
equivalents correspendant a chaque segment elementaire de Timage. 

4. Dis|>05itif de simulation electronique d'une image esthetique seion la revendication (1) 
comprenant un systeme infbrmatique dispose dans une cabine ou sur une console, au 
moins un appareil de photographic numerique en couleurs dote de spots lumtneux, un 
ecran couleur, au moins une imprimante et enfin un lecteur enregistreur de carte optique, 
caracterise en ce que le systeme informatique assurant le traitement de Pimage comprend 
un erdinateur dote d'un disque dur d'une capactte egalc au moins a 420 MO, assocte a 
un lecteur de disque du type « CD ROM » et en ce que les appareils de photographie 
numerique en couleurs permettent d'ebtenir au cours d'une premiere phase une 
photographie reelle numerique en 256 couleurs de I'image reelle d'origine, tandis que 
r image esthetique transfermec suivant les criteres de decision du systeme expert zero + 
est affichee sur un ecran en couleurs a haute definition. 

5. Dispesitifs scion la revendication (5) caracterise en ce que apres I'affichage dc rimage 
transformee sur un ecran couleur, 1' imprimante a jet d'encre foumit une photogFapUe & 
256 niveaux de gris, puis une deuxieme imprimante a sublimation thermique, a jet 
d'encre ou au laser precede a Pimpression d'une seconde photographie en 256 couleurs 
de format A4. 



6. Precede et dispositif de simulation d'une image seion les revendications (5) et (6) 
applique a la chirurgie plastique permettaht a lui apporter sous forme d'un lifting, d'une 
rectification de nez, de la disparition de la culotte de cheval caracterise en ce que la base 
de donnees associee au systeme expert est enrichie de regies concemant Tanatomie et la 
technique chirurgicale correspendante. 
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